简史|本文_大数据笔记：大数据启蒙与入门知识

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据笔记：大数据启蒙与入门知识相关的知识，希望对你有一定的参考价值。

目录

大数据启蒙与入门知识

一、前言

二、千里之行&＃xff0c;始于足下

三、分治思想

四、单机处理大数据问题

五、集群分布式处理大数据的辩证

六、Hadoop之父Doug Cutting

七、Hadoop的时间简史

八、Hadoop项目/生态

九、大数据生态

一、前言

博主语录&＃xff1a;一文精讲一个知识点&＃xff0c;多了你记不住&＃xff0c;一句废话都没有

经典语录&＃xff1a;那日看雪&＃xff0c;你从未看我&＃xff0c;我从未看雪

二、千里之行&＃xff0c;始于足下

• 启蒙很重要
• 分治思想
• 单机处理大数据问题
• 集群分布式处理大数据的辩证

三、分治思想

需求&＃xff1a;

• 我有一万个元素&＃xff08;比如数字或单词&＃xff09;需要存储&＃xff1f;
• 如果查找某一个元素&＃xff0c;最简单的遍历方式复杂的是多少&＃xff1f;
• 如果我期望复杂度是O(4)呢&＃xff1f;

学习知识的时候要去搞明白它存在的意义&＃xff0c;这样学习成本才会低

分而治之的思想很重要&＃xff0c;出现在了很多地方&＃xff1a;

• Redis集群
• ElasticSearch
• Hbase
• HADOOP生态无处不在&＃xff01; 

四、单机处理大数据问题

需求&＃xff1a;

• 有一个非常大的文本文件&＃xff0c;里面有很多很多的行&＃xff0c;只有两行一样&＃xff0c;它们出现在未知的位置&＃xff0c;需要查找到它们
• 单机&＃xff0c;而且可用的内存很少&＃xff0c;也就几十兆

解决思路&＃xff1a; 

• 假设Io速度是500MB每秒
• 1T文件读取一遍需要约30分钟
• 循环遍历需要N次Io时间
• 分治思想可以使时间为2次io

小贴士&＃xff1a;内存寻址比Io寻址快10万倍

思考&＃xff1a; 如果让时间变为分钟、秒级别

五、集群分布式处理大数据的辩证

• 2000台真的比一台速度快吗&＃xff1f;
• 如果考虑分发上传文件的时间呢&＃xff1f;
• 如果考虑每天都有1T数据的产生呢?
• 如果增量了一年&＃xff0c;最后一天计算数据呢?

结论

• 分而治之 并行计算
• 计算向数据移动
• 数据本地化读取
• 以上这些点是学习大数据技术时需要关心的重点

六、Hadoop之父Doug Cutting

• Hadoop的发音是 [hædu:p]
• Cutting儿子对玩具小象的昵称
• Nutch Lucene
• Avro
• Hadoop

七、Hadoop的时间简史

• 《The Google File System 》 2003年
• 《MapReduce: Simplified Data Processing on Large Clusters》 2004年
• 《Bigtable: A Distributed Storage System for Structured Data》 2006年
• Hadoop由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。
• 2006 年 3 月份&＃xff0c;Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
• Cloudera公司在2008年开始提供基于Hadoop的软件和服务。
• 2016年10月hadoop-2.6.5
• 2017年12月hadoop-3.0.0
• hadoop.apache.org

八、Hadoop项目/生态

The project includes these modules:

• Hadoop Common
• Hadoop Distributed File System (HDFS™)
• Hadoop YARN
• Hadoop MapReduce

Other Hadoop-related projects at Apache include:

• Ambari™
• Avro™
• Cassandra™
• Chukwa™
• HBase™
• Hive™
• Mahout™
• Pig™
• Spark™
• Tez™
• ZooKeeper™

九、大数据生态

www.cloudera.comhttps://www.cloudera.com/Cloudera’s Distribution Including Apache Hadoop CDH is the most complete,tested, and popular distribution of Apache Hadoop and related projects.

• &＃x1f4e2;博客主页&＃xff1a;https://lansonli.blog.csdn.net
• &＃x1f4e2;欢迎点赞 &＃x1f44d; 收藏 ⭐留言 &＃x1f4dd; 如有错误敬请指正&＃xff01;
• &＃x1f4e2;本文由 Lansonli 原创&＃xff0c;首发于 CSDN博客&＃x1f649;
• &＃x1f4e2;大数据系列文章会每天更新&＃xff0c;停下休息的时候不要忘了别人还在奔跑&＃xff0c;希望大家抓紧时间学习&＃xff0c;全力奔赴更美好的生活✨